이 컨텍스트 딜레마 기본적인 아키텍처적 불일치에서 비롯된다: 인간의 데이터는 단일화되고 구조화되지 않은, 반면 대규모 언어 모델(Large Language Models, LLMs)은 토큰 제한과 주의 기반의. 변환 없이 원시 데이터를 LLM에 입력하면 '컨텍스트 중독' 현상이 발생하며, 관련 없는 노이즈가 추론 성능을 저하시킨다.

전략적 다리

변환은 단순한 기술적 분할이 아니다. 그것은 전략적 결정. 체닝은 단순히 텍스트를 나누는 것이 아니다. 이는 검색이 탐색할 단위와 생성이 나중에 소비할 단위를 선택하는 것이다. 즉, 체닝은 재현률, 순위, 지연 시간, 답변 품질, 토큰 예산, 인용 가독성 등 여러 요소에 동시에 영향을 미친다.

• 의미 압축: 우리는 고차원적인 혼란스러운 원시 데이터를 LLM의 제한된 창에 최적화된 아키텍처로 압축하여, '바늘 찾기' 문제에서 바늘이 탐색 가능하도록 보장한다.
• 운영 삼각형: 성공적인 변환은 데이터 거버넌스 (권한 부여), 모델 품질 (노이즈 필터링), 그리고 신선도 관리 (버전 관리).